Python大數據專案X工程X產品資料工程師的升級攻略
本書獨家解析知名大數據專案,FinMind,帶你一窺大數據產品的發展過程,打造專屬個人的大數據sideproject、作品、產品。讀完本書,你將學會分散式爬蟲、rabbitmq、api、MySQL資料庫、壓力測試、docker、CICD、雲端、traefik、redash視覺化等,本書是一本集大成的作品。
分享在Github獲得1,500stars的大數據sideproject,並幫助讀者從0開始,打造專屬個人的大數據sideproject。
●資料工程
○使用分散式技術,rabbitmq、flower、celery,收集證交所、櫃買中心、期交所等股市資訊。
○使用docker、fastapi架設RESTfulAPI服務。
○使用dockerswarm架設分散式服務,包含爬蟲、api、資料庫MySQL、rabbitmq等服務。
○使用雲端服務,一個月5美金,且免費提供100美金額度。
○一站式管理多台分散式機器。
●產品迭代
○單元測試unittest介紹,包含爬蟲、api測試範例。
○使用CICD做持續性整合、部屬,並以gitlab-ci搭配API服務做為範例。
●API產品上線
○免費網址申請教學,No-IP。
○免費SSL憑證教學,Let’sEncrypt。
○一站式管理多服務網址,容器化反向代理工具Traefik。
●業界資料視覺化工具
○使用Redash建立個人化、股市分析儀表板。
架設 UNITTEST 資料庫 CICD 工程 教學 美金 專案 大數據 PYTHON SSL 免費 工具 API 資料 RESTFULAPI